ReMem：重新思考长上下文推荐智能体的感知与记忆
🧭 推荐 Agent 的感知与长程记忆优化 ★ 深度解读
The Hong Kong Polytechnic University · Nanyang Technological University
用 OCR 感知与分块动态记忆重构推荐 Agent，平均相对提升 5.16%
📌 工作参考价值（4 点）
- OCR 商品页感知可以替代 HTML 解析：在用户侧 Agent 中直接对商品页/App 截图做 DeepSeek-OCR，生成结构化商品卡片，平台无关且能过滤广告噪声，避免为每个站点维护 HTML parser。
- 分块动态记忆 TEM 很适合长用户行为序列：把历史按窗口分块，维护固定长度自然语言记忆，再基于最终记忆做推荐；不引入外部向量库或 KV cache 改动，线上实现简单、可 debug、可用 prompt 约束记忆内容。
- 多段独立记忆对话的 RL 训练可借鉴 Multi-Memory GRPO：把最终答案 advantage 传播到所有中间记忆 token；建议先 warm-up 两个 epoch 再设置 λ=0.7，避免早期带偏记忆更新。
- 长上下文不是越长越好：QwenLong-L1、向量记忆在超长上下文下仍明显衰减；电商用户行为序列建模可优先用可控的自然语言记忆压缩，而不是全量输入或纯向量检索。
生成式推荐的自进化记忆框架 LION
🧭 生成式推荐 · 持续学习与记忆隔离 ★ 深度解读
National University of Singapore · Meta AI
用稀疏 KV 记忆层隔离不同用户行为模式的梯度，缓解生成式推荐持续进化中的进化冲突
📌 工作参考价值（4 点）
- 在持续更新生成式推荐或 LLM4Rec 模型时，不要直接全参 fine-tune；可以插一个固定大小的稀疏 KV 记忆层，用 Top-K 激活按用户行为模式路由，隔离头部/长尾梯度冲突，避免高频用户主导模型更新。
- 想强化长尾或低频行为，可加 consolidation loss：对记忆增强后的用户表示直接预测 next item；注意该 loss 必须加在“隔离后的表示”上，直接加在共享 backbone 反而会引入额外梯度冲突。
- 做用户长期偏好建模可用“全序列 query + 近期窗口计算”的非对称设计：仅用完整历史去激活记忆 slot，主 Transformer 仍只消费最近几条交互；既能捕捉长期行为模式，又不增加推理序列长度。
- 稀疏 KV 记忆参数固定为 2Nd，不随用户规模增长；实验表明 N=4096,K=32 与 N=65536,K=8 性能几乎一致，工程上可大幅压缩参数，替代 per-user embedding 或 LoRA，降低部署成本。
序列引导的通用多模态优先级计算框架 SG-UMP
🧭 多模态序列推荐 · 动态模块路由
Imperial College London · University College London · Nanjing University of Posts and Telecommunications
即插即用插件 SG-UMP，用模块组合器与模块路由器动态调整多模态处理顺序，适配用户偏好与数据集偏差
📌 工作参考价值（4 点）
- 多模态融合从静态拼接/固定权重升级为用户级+数据集级动态路由：在电商推荐中，不同类目对模态敏感度差异大（美妆看图片、家电看参数文本），可借鉴 Module Router 根据用户最近行为序列自动调整图像/文本/属性特征的组合顺序与权重，替代全局统一方案。
- 插件式设计不改动主模型 backbone：SG-UMP 作为 drop-in 插件，能低成本接入已有精排/召回模型，在结构基本不变的情况下提升多模态信息利用效率，适合快速实验与 A/B 测试。
- 把“哪个模态先处理”建模为可学习路由问题：相比注意力加权，模块顺序路由更显式控制信息流，在搜索推荐系统里可用于决定商品标题、主图、用户评论等在特征编码中的处理次序，提升可解释性。
- 关注数据集级模态偏差：电商不同场景（首页猜你喜欢 vs 搜索）模态贡献差异大，学习 dataset-aware 路由策略可以避免一套权重打天下，方便跨场景迁移。
开口之前：利用 LLM 从长期日常对话预测言语行为
🧭 LLM 用户行为预测 · 长期对话
Massachusetts Institute of Technology
用 LLM 从 1000+ 小时长期自然对话中预测个人言语行为，探索主动式个性化 AI 可能性
📌 工作参考价值（4 点）
- 可借鉴思路：把长期用户会话/行为序列变成“个人行为预测器”。 电商/客服场景中的用户对话、点击、订单序列，可用 LLM 做长期 pattern mining，识别重复的高风险/高价值行为模式（如冲动下单、流失前兆、价格敏感表达），用于早期干预。
- 工程上可落地为“情境相似度召回 + LLM 预测”：将当前会话/上下文与用户历史行为模式做相似度匹配，再让 LLM 预测用户下一步意图/反应；输出可作为召回/排序特征，也可作为 Agent 是否触发主动服务的条件。
- 面向 Agent 的干预时机与形式：论文强调“在行为展开前提醒”。业务中可设计 push/文案/优惠券的 just-in-time 触发，但需结合用户访谈结论——用户关心透明度和控制权，主动干预要可解释、可关闭，否则可能引起反感。
- 业务可借鉴点有限处：论文使用 wearable 采集自然对话，成本高、规模小（14人/1000小时），直接照搬难；但用现有日志替代可降低门槛。
PraMem：基于实践的经验记忆用于长程行为预测
🧭 长程行为预测·经验记忆演化 ★ 深度解读
中国科学院软件研究所 · 中国科学院大学 · 复旦大学 · 快手科技
将长历史序列化为练习样本，通过迭代试错构建可演化的模式经验与偏差警告，显著提升 LLM 长程行为预测准确性
📌 工作参考价值（4 点）
- 化负担为资源：把用户长行为序列当作带标签的实践样本，通过预测→反思→调整的闭环提炼经验。电商推荐中可用同样思路，利用历史行为数据持续优化用户画像，而不是只做一次离线建模。
- 双重经验结构：Pattern Experience 刻画用户偏好模式，Bias-alert Experience 显式警告模型容易犯的错误（如近因偏差、从众偏好）。在推荐系统的 prompt 或知识库中可引入类似的“纠偏模块”，让 LLM 在推理时主动避开已知偏见。
- 自审机制保证质量：通过扰动历史序列检验提议的 groundedness，生成虚拟场景检验 generalizability，过滤不可靠的经验修改。生成式用户画像或动态 prompt 优化中可以直接借鉴，防止模型拟合噪声或过拟合单一交互。
- 共识驱动更新稳健：由多个提议共同支持才修改记忆，避免偶然行为干扰。适用于实时更新用户状态的场景（如会话推荐、动态创意优化），可防止因单次异常交互导致画像漂移。
当用户是LLM智能体时，推荐算法还奏效吗？Moltbook案例研究
🧭 AI Agent环境下的推荐评估 · 结构模式替代个性化 ★ 深度解读
Independent Researcher · Stanford University · University of Waterloo
在AI智能体社交平台上，推荐因缺乏用户偏好而退化为结构匹配，简单方法胜过个性化模型
📌 工作参考价值（4 点）
- 若电商或内容平台出现大量AI Agent行为（如爬取、自动测评），训练数据会被污染，个性化模型将引入噪声；应部署Agent检测与过滤机制，保护训练集纯度。
- 在Agent混入的场景下，简单信号（物品共现、全局热门）比复杂用户表示更鲁棒，可考虑构建一套「轻量结构模型」作为兜底策略或信号补充。
- karma加权（质量信号）使结构方法性能提升2~5倍，但对个性化模型无效，说明质量信号的利用需要与模型假设匹配——若用户无稳定偏好，质量信号只能放大结构模式，无法激活个性化。
- 时间衰减实验表明Agent行为无偏好漂移，因此对Agent密集的日志，可降低模型重训频率，减少工程开销，重点维护结构信号而非追求时效性用户表示。
TokenMinds：基于语义ID与LLM的工业级双模态用户建模
🧭 生成式用户建模 · Semantic ID ★ 深度解读
Google DeepMind · YouTube
提出双输出编码器-解码器架构，同时生成离散语义ID用户令牌和稠密嵌入，在YouTube排名系统中实现互补增益
📌 工作参考价值（5 点）
- 离散用户表示对齐候选集：将用户兴趣压缩为与物品共享的SID前缀，可用Prefix Embedding Mapping或可学习子词嵌入（LE）投影到稠密空间。电商场景可对商品SID做同样设计，直接用SID序列表示用户历史与意图，减少跨模态鸿沟，尤其适合图文、搜索词等多模态融合。
- 双输出设计平滑过渡：同时产出稠密嵌入和离散令牌，既兼容现有DNN排序模型，又注入离散语义信号。在现有推荐系统引入生成式用户建模时，可采用类似双通道策略，避免全量重构；稠密侧做主力特征，离散侧做互补特征，通过注意力池化等方式融合。
- 异步推理架构解耦成本：在用户行为服务（UBS）框架下离线生成用户表征并缓存，实时打分仅读取，将重生成延迟完全屏蔽。大模型上线时，可参照此模式以KV缓存和定时刷新实现超高吞吐，单用户推理339ms在后台完成，存储仅需1280B，这对电商/广告海量用户场景极具参考价值。
- 跨场景统一建模提效：通过<LFV>/<SFV>等场景条件令牌，以及多上下文解码（共享编码器一次前传、分支波束搜索），将长短期视频场景合入单模型，训练算力减半，推理算力降低31%。若业务存在多个推荐流（如猜你喜欢、购后推荐、首页Feeds），可用相同技术方案统一建模，降低维护成本并从异质信号迁移学习。
- Token适配与训练技巧：训练时采用前瞻窗口采样（预测未来24h内多个目标，非下一项）、截断SID前缀（更粗粒度）、历史长度约1K watch即可饱和，这些都是可迁移的调参经验。可学习嵌入（N-gram/SPM）远优于静态前缀映射，下游模型重新学习SID语义空间能带来显著线上收益。